Khi còn ở Thượng viện, Johnson được các đồng nghiệp biết đến nhờ "sự tán tỉnh" rất thành công của các thượng nghị sĩ lớn tuổi, đặc biệt là Thượng nghị sĩ Richard Russell của Đảng Dân chủ từ Georgia, lãnh đạo của liên minh Bảo thủ và được cho là người đàn ông quyền lực nhất tại Thượng viện. Johnson đã tiến hành để có được sự ủng hộ của Russell giống như cách mà ông đã "tán tỉnh" người phát ngôn Sam Rayburn và có được sự ủng hộ quan trọng của ông trong Nhà Trắng.

Johnson được bổ nhiệm vào Ủy ban Dịch vụ Vũ trang Thượng viện và năm 1950, ông đã giúp tạo ra Tiểu ban Điều tra Chuẩn bị. Johnson trở thành chủ tịch của nó và tiến hành điều tra về chi phí và hiệu quả quốc phòng. Các cuộc điều tra này cho thấy các cuộc điều tra cũ và yêu cầu các hành động đã được Cơ quan Truman thực hiện một phần, mặc dù có thể nói rằng các cuộc điều tra của ủy ban đã củng cố nhu cầu thay đổi. Johnson đã đạt được các chỉ tiêu và sự chú ý của quốc gia thông qua việc ông xử lý thông tin báo chí, hiệu quả mà ủy ban của ông đưa ra các báo cáo mới và thực tế là ông đảm bảo rằng mọi báo cáo đều được ủy ban nhất trí thông qua. Johnson đã tận dụng ảnh hưởng chính trị của mình tại Thượng viện để nhận giấy phép phát sóng từ Ủy ban Truyền thông Liên bang dưới tên của vợ. Sau cuộc tổng tuyển cử năm 1950, Johnson được chọn làm Thượng nghị sĩ trong Thượng viện vào năm 1951 dưới quyền lãnh đạo mới, Ernest McFarland ở Arizona, và phục vụ từ năm 1951 đến 1953.

Trong cuộc tổng tuyển cử năm 1952, đảng Cộng hòa đã giành được đa số ở cả Hạ viện và Thượng viện. Trong số những người Dân chủ bị đánh bại năm đó có McFarland, người đã thua cuộc trước Barry Goldwater. Vào tháng 1 năm 1953, Johnson được các nghị sĩ Dân chủ của mình chọn làm lãnh đạo thiểu số; ông trở thành Thượng nghị sĩ cơ sở nhất từng được bầu vào vị trí này. Một trong những hành động đầu tiên của ông là loại bỏ hệ thống thâm niên trong việc bổ nhiệm các ủy ban, trong khi vẫn giữ chức chủ tịch. Trong cuộc bầu cử năm 1954, Johnson đã được bầu lại vào Thượng viện và vì đảng Dân chủ chiếm đa số tại Thượng viện, sau đó trở thành lãnh đạo đa số. Cựu lãnh đạo đa số William Knowland trở thành lãnh đạo thiểu số. Nhiệm vụ của Johnson là lên lịch trình cho pháp luật và giúp thông qua các biện pháp được ủng hộ bởi đảng Dân chủ. Johnson, Rayburn và Tổng thống Dwight D. Eisenhower đã phối hợp tốt với nhau trong việc thông qua chương trình nghị sự trong và ngoài nước của Eisenhower.

Trong cuộc khủng hoảng Suez, Johnson đã cố gắng ngăn chính phủ Hoa Kỳ chỉ trích cuộc xâm lược của Israel vào bán đảo Sinai. Cùng với phần còn lại của đất nước, Johnson đã kinh hoàng trước mối đe dọa trước sự thống trị của Liên Xô đối với chuyến bay vào vũ trụ ngụ ý khi phóng vệ tinh nhân tạo đầu tiên Sputnik 1 và sử dụng ảnh hưởng của mình để đảm bảo thông qua Đạo luật Hàng không và Vũ trụ Quốc gia năm 1958, mà thành lập cơ quan vũ trụ dân sự NASA.

Các nhà sử học Caro và Dallek coi Lyndon Johnson là nhà lãnh đạo Thượng viện hiệu quả nhất trong lịch sử. Một người viết tiểu sử cho rằng ông là "người thu thập thông tin vĩ đại nhất mà Washington từng biết", khám phá chính xác nơi mọi Thượng nghị sĩ đứng trước các vấn đề, triết lý và định kiến ​​của ông, điểm mạnh và điểm yếu của ông và những gì cần có để bỏ phiếu. Robert Baker tuyên bố rằng thỉnh thoảng Johnson sẽ gửi một số thượng nghị sĩ trong các chuyến đi của NATO để tránh những phiếu bầu không đồng tình của họ.

Là một người nghiện hút thuốc lá, Johnson bị một cơn đau tim suýt chết vào ngày 2 tháng 7 năm 1955. Ông đột ngột từ bỏ thuốc lá và chỉ có một vài ngoại lệ, đã không tiếp tục thói quen này cho đến khi ông rời khỏi Nhà Trắng vào ngày 20 tháng 1 năm 1969. Johnson tuyên bố ông sẽ vẫn là lãnh đạo đảng của ông tại Thượng viện vào đêm giao thừa năm 1955, các bác sĩ của ông báo cáo rằng ông đã "hồi phục rất nhanh chóng" kể từ khi bị đau tim năm tháng trước đó.